文档结构是否提升密集检索？双语料四机制安慰剂对照消融
🧭 RAG 密集检索 · 文档结构消融
Center for Research Computing, University of Notre Dame
在双语料上做安慰剂对照消融，证明结构对齐分块与真实标题路径能小幅但稳定提升稠密检索 nDCG
📌 工作参考价值（4 点）
- 做商品文档/详情页 RAG 时，尽量按标题、段落等结构对齐分块，而不是固定窗口；给 chunk 加真实标题路径可小幅提升检索 nDCG，成本不高。
- 避免把标题路径等元数据当任意 token 前缀：收益来自语义内容，不是文本扰动；打乱或占位符无效，所以要保留真实结构语义。
- 分层两阶段检索在业务里可能不如单阶段，尤其第一阶段 section 召回率是瓶颈；上线前需对比单阶段与两阶段的 recall/nDCG。
- LLM 重建文档结构不一定优于原始结构，Wikipedia 上原始结构更好，QASPER 上无差异；不要盲目用 LLM 诱导结构，按语料做小样本验证。
零样本视觉-语言控制中的视觉接地评估与守护
🧭 VLM视觉接地评估与选择性辅助守护
BARCELONA Supercomputing Center · Universidad Pontificia Comillas · University of Florida · University of Illinois Urbana-Champaign · LUXEMBOURG Institute of Science and Technology
输入消融实验揭示VLM零样本控制普遍缺乏视觉接地，对称共识守护者实现可靠危险检测。
📌 工作参考价值（3 点）
- 对称一致性守卫：利用原始与反射视图的预测一致性筛选可靠模型，此法可迁移至多模态推荐——对商品图片做水平翻转等增广，检查模型预测是否对称，剔除不一致的弱模型，提升鲁棒性。
- 输入消融诊断：盲图、重复帧、反射对照组能暴露模型是否真正利用视觉信息。可仿照设计线上诊断流程，排查推荐模型中的模态依赖假象。
- 选择性弃权策略：在低置信度时弃权，牺牲少量覆盖换取大幅精度提升，适合电商风控或内容审核等高风险场景，结合阈值动态开关辅助决策。
模块化测试时训练：将 TTT 重新思考为可组合模块
🧭 序列建模 · TTT 框架
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
提出模块化 TTT 框架，将内部学习器建模为有向无环图，系统消融组件并发现关键设计原则
📌 工作参考价值（4 点）
- 可尝试用 TTT 替代 Transformer 做用户行为序列建模，受益于其在线学习特性，可能更高效处理长序列。
- 模块化设计思想可借鉴到推荐系统的特征交互或模型组件，将学习率、损失函数等也作为可配置模块，便于消融和新设计。
- 消融结论直接可用：使用单层非线性快权重网络，避免深度网络和归一化，采用小学习率初始化与权重衰减，可减少实现踩坑。
- 业务中若需轻量、增量更新的序列模型，TTT 的 fast-weight 机制可能比 Transformer 更节省 inference 开销，适合实时推荐场景。
训练通用智能体模型的数据配方：开放实验与消融研究
🧭 Agent训练数据配方的系统性消融与开放数据集
UC Berkeley · Stanford University · University of Texas at Austin · UCLA · Amazon
100+消融实验揭示智能体训练数据配方的关键要素，100K数据微调Qwen3-32B后在7个基准上平均准确率44.8%，超越最强开源基线3.9个百分点
📌 工作参考价值（4 点）
- 数据多样性优于单一任务源：消融显示混合多种任务源（如代码、交互、推理）对泛化至关重要，构建推荐/搜索Agent的微调数据时应避免只用单一场景的日志。
- 指令格式与难度分布：通过统一系统提示、调整任务难度比例可以稳定提升Agent鲁棒性；在电商Agent微调中可借鉴控制简单/困难样本比例的方法，防止模型过拟合简单对话。
- 开放数据流水线复用：论文公开了完整的数据处理管线（任务收集、格式标准化、难度过滤、质量筛选），可直接复用构建内部垂直领域Agent训练集，尤其适合客服、推荐解释等场景。
- 消融方法论：100+对照实验的设计思路可用于业务中快速诊断数据瓶颈，比如对比不同召回源、不同交互历史长度对Agent效果的影响，低成本找到最优数据配方。
扩散模型中时间步嵌入的冗余性研究
🧭 生成架构简化与冗余去除
Independent Researcher, Lima, Peru
证明扩散模型可在无显式时间步嵌入下达到最优，输入可隐式推断噪声尺度，实现更高效生成架构
📌 工作参考价值（4 点）
- 在基于扩散的推荐模型（如 DiffRec）中，可尝试移除时间步嵌入，利用用户交互序列或物料特征直接隐式推断噪声尺度，减少额外调制参数
- 简化时间步调制后，推理阶段无需处理时间编码，降低工程复杂度与延迟，适合在线推荐场景
- 无时间步嵌入的扩散模型可能更鲁棒，尤其在数据稀疏的冷启动场景，模型会更关注内容结构而非时间信号
- 注意力可集中于去噪网络本身的结构设计，为序列推荐中利用上下文长度、时间间隔等信息提供新思路